技術問答
技術文章
iT 徵才
聊天室
2025 鐵人賽
登入/註冊
問答
文章
Tag
邦友
鐵人賽
搜尋
DAY
17
0
Azure 30天
系列 第
17
篇
Day 17. Hive on Emulator
鐵人賽
wtc
2014-10-17 22:15:18
2055 瀏覽
分享至
先依照上次的說明啟動本機hadoop services. (start_local_hdp_services)
由於Hive沒有類似insert into帶values的指令, 因此需要用匯入的方式, 用簡單的範例, 先切換到C:\hdp\hive-0.13.0.2.1.3.0-1981\bin再執行hive, 接著輸入 create table test(name string);
在相同的bin資料夾下建立一個簡單的demo.txt, 只有兩行資料
再開另外一個hadoop command line, 到相同bin資料夾下輸入hadoop fs -copyFromLocal demo.txt /hive/warehouse/test匯入文字檔
5. 回到原先Hive視窗, select * from test就可看到那兩行文字
接著照著Tutorial實作
http://azure.microsoft.com/en-us/documentation/articles/hdinsight-get-started-emulator/#scenarios
執行hadoop command line, 切換目錄到c:\hdp\GettingStarted, 執行以下指令產生範例文檔並匯入至模擬器
powershell -File importdata.ps1 w3c -ExecutionPolicy unrestricted
可用以下指令檢視並確認資料有匯入
hadoop fs -ls -R /w3c
或是從流覽器檢視/w3c/input資料夾
這個檔案基本上就是access request log
為了等一下方便執行, 先複製C:\hdp\GettingStarted\Hive\w3c下的 w3ccreate.hql & w3ctotalhitsbypage.hql
貼到C:\hdp\hive-0.13.0.2.1.3.0-1981\bin下, 這樣等等就不用打一長串的路徑
將著在hadoop command line視窗, 先切換到C:\hdp\hive-0.13.0.2.1.3.0-1981\bin, 再輸入以下指令建立Hive Table跟匯入資料
hive.cmd -f w3ccreate.hql -hiveconf "input=/w3c/input/small/data_w3c_small.txt"
再執行以下指令即可看到結果, 也會看到一個Job ID. 最後列出模擬資料庫的點擊率
hive.cmd -f w3ctotalhitsbypage.hql
使用YARN status也可看到Job ID 0001執行成功
留言
追蹤
檢舉
上一篇
Day 16. Azure HDInsight Emulator
下一篇
Day 18. MS SQL & Hive的連結
系列文
Azure 30天
共
30
篇
目錄
RSS系列文
訂閱系列文
5
人訂閱
26
Day 26. Azure SQL 複製, 匯入與匯出
27
Day 27. Azure SQL 同步機制
28
Day 28. Azure Schedule Job
29
Day 29. Azure 附加元件
30
Day 30. My Azure Girl
完整目錄
熱門推薦
{{ item.subject }}
{{ item.channelVendor }}
|
{{ item.webinarstarted }}
|
{{ formatDate(item.duration) }}
直播中
立即報名
尚未有邦友留言
立即登入留言
iThome鐵人賽
參賽組數
902
組
團體組數
37
組
累計文章數
19859
篇
完賽人數
528
人
看影片追技術
看更多
{{ item.subject }}
{{ item.channelVendor }}
|
{{ formatDate(item.duration) }}
直播中
熱門tag
15th鐵人賽
16th鐵人賽
13th鐵人賽
14th鐵人賽
17th鐵人賽
12th鐵人賽
11th鐵人賽
鐵人賽
2019鐵人賽
javascript
2018鐵人賽
python
2017鐵人賽
windows
php
c#
linux
windows server
css
react
熱門問題
我在做 packet tracer 的題目,想請問一下該怎麼做
dhcp 在client 端機碼設定的問題
照片破圖或是有損壞,如何修復?
Windows DHCP Server IP保留問題
新電腦安裝鼎新 Workflow ERP iGP的 Access violation
.net6 的mvc架構 如何連 report server
急! 筆電上的chrome書籤,覆蓋掉了原本桌電上的chrome書籤 (解決有獎)
Client-Server 轉 Java Web 問題請益
熱門回答
我在做 packet tracer 的題目,想請問一下該怎麼做
Windows DHCP Server IP保留問題
dhcp 在client 端機碼設定的問題
照片破圖或是有損壞,如何修復?
.net6 的mvc架構 如何連 report server
熱門文章
【C++學習筆記】01《從零學習C++,跟世界打招呼吧!》
數位轉型是什麼?從定義、三階段到成功案例一次看懂
Angular 後台系統 i18n 套件比較:Angular 內建 i18n vs ngx-translate vs ngx-atomic-i18n
在陸版手機裡使用注音輸入
【解題紀錄】數字翻轉 Flip Number
IT邦幫忙
×
標記使用者
輸入對方的帳號或暱稱
Loading
找不到結果。
標記
{{ result.label }}
{{ result.account }}